Từ đầu thế kỷ IV, quyền tối thượng của Rô-ma đã được chứng minh đầy đủ hơn trong các tài liệu. Trong suốt bảy thế kỷ, kể từ sự thống nhất các giáo hội tại công đồng Nicea bởi hoàng đế Constantine cho tới cuộc ly giáo thành Giáo hội Đông Hy Lạp và giáo hội Tây La mã. Các Giáo hoàng ngày càng trở nên độc lập với các hoàng đế ở phía đông và trở thành một lực lượng chính trị quan trọng ở phía Tây.

Với việc hoàng đế Constantine chuyển thành đạo Kitô và việc triệu tập công đồng chung Nicea, sự thống nhất của Kitô giáo và chức giáo hoàng của Roma đã được thiết lập. Sau khi thủ đô của đế chế được chuyển đến Constantinople vào năm 330 thuộc về các giáo hội phương Đông, vì thế giáo chủ của Constantinople đã bắt đầu khẳng định quyền lãnh đạo của mình dựa trên vị trí của thủ đô mới.

Tại công đồng Constantinople I (381 CN) đã đưa ra một đề nghị mạnh mẽ về quyền lãnh đạo của Roma. Tuy nhiên, cần lưu ý rằng, chính vì những tranh cãi về vấn đề này, nên đã không có vị Giáo hoàng nào tham dự công đồng chung này, nó đã được tổ chức ở thủ đô phía đông của đế quốc Roma thay vì ở Rome. Cuộc tranh cãi đã được giải quyết vào năm 440 bởi Giáo hoàng Leo cả, người đã khẳng định một cách rõ ràng về uy quyền của Giáo hoàng như một tín điều, nó được đưa ra trong một bức thư và trong công đồng, chân lý của ông đã được áp dụng: "quyền nằm giữ của giáo hoàng là quyền mà Đức Giêsu đã dành cho tông đồ Phêrô". Đó là tại công đồng chung Calcedon năm 451 và Leo (qua miệng sứ thần của ông) đã nói tiếng nói của Phêrô". Tuy nhiên, cũng tại công đồng này, Giám mục của Constantinople đã cho rằng quyền lãnh đạo của ông ngang bằng Giám mục của Roma, bởi vì "Constantinople là Roma mới".

Danh hiệu Giáo hoàng đã được dùng từ đầu thế kỷ III với một cách tôn kính cho tất cả các Giám mục phương tây. Ở phương Đông, nó chỉ được dùng cho Giám mục của Alexandria. Từ thế kỷ VI, Constantinople đã dành riêng từ đó cho Giám mục của Roma. Ngay từ đầu thế kỷ VI, từ Giáo hoàng bắt đầu được giới hạn ở phương Tây và chỉ dùng cho Giám mục Roma, một khẳng định chắc chắn vào thế kỷ XI.Sau khi đế quốc Roma sụp đổ, Giáo Hội được biết đến như là nơi khởi nguồn của trí tuệ, quyền lực và sự liên tục. Giáo hoàng Gregory cả (khoảng 540-604) là một nhà quản lý đầy trí tuệ và cải cách nghiêm khắc. Xuất thân từ một gia đình thượng viện cũ, Gregory đã làm việc với một sự khôn ngoan, phân xử công minh và là một điển hình về nguyên tắc của Roma cổ. Về thần học, ông đại diện cho sự chuyển đổi từ thời cổ đại sang thời trung cổ, Những tác phẩm của ông được nhiều người ưa chuộc và để lại ấn tượng mạnh mẽ về những thánh tích thiêng liêng, ma quỷ, thiên thần và việc tới gần ngày tận cùng của thế giới.

Những người kế nhiệm Giáo hoàng Gregory đã chiếm ưu thế hơn so với các Giám mục và hoàng đế Đông phương. Quyền lực của hoàng đế bị suy yếu trước sự bành trướng của Hồi giáo và sự bất lực của hoàng đế trong việc bảo vệ các vùng đất của Giáo hoàng đã khiến cho Giáo hoàng Stephen II thay đổi chính sách với hoàng đế. Cần phải tìm kiếm lực lượng bảo vệ để chống lại các cuộc xâm lấn của người Lombards trong khi không nhận được sự giúp đỡ của hoàng đế Constantine V, Giáo hoàng đã yêu cầu sự giúp đỡ của hoàng đế Franks để bảo vệ phần đất của mình. Pepin đã đánh bại người Lombards và tặng đất Italia cho Giáo hoàng. Khi Giáo hoàng Leo III đặt vương miện cho hoàng đế Charlemagne vào năm 800, ông đã đặt ra một tiền lệ rằng: không một người đàn ông nào trở thành hoàng đế nếu không có sự sức dầu tấn phong bởi Giáo hoàng.

Vào khoảng năm 850, một người làm giả giấy tờ, có thể là từ một trong những người chống đối lại Hincmar, tổng Giám mục của Reims, đã tạo ra một sưu tập những giáo lệnh của nhà thờ giống như là những tài liệu chính cống. Lúc đầu, một số người đã cho đó là giả mạo, nhưng nó đã được dùng như những tài liệu chân thực trong suốt thời gian còn lại của thời Trung cổ. Hiện nay nó được gọi là Các giáo lệnh giả (False Decretals). Nó là một phần của một tập hợp được làm giả về những giáo lệnh cổ xưa bởi một nhóm người thuộc đế chế Carolingian, mục đích chính của nó là nhằm đem lại sự tự do cho nhà thờ, các Giám mục thoát khỏi sự can thiệp của chính quyền và các tổng Giám mục riêng biệt, và những người có liên quan đã được đảm bảo quyền đó bởi quyền uy của Giáo hoàng.

Tác giả của nó, một tu sĩ người Pháp xưng là Isidore Mercator, đã tạo ra tập tài liệu giả mạo này và tự cho là những văn kiện bởi các Giáo hoàng từ rất xa xưa, nó xác định rằng quyền lãnh đạo tối cao của các Giáo hoàng đã có truyền thống từ rất xa xưa. Tập sắc lệnh còn bao gồm cả Của tặng của Constantine (Donation of Constantine), trong đó, Constantine đã dâng tặng cho Giáo hoàng Sylvester I uy quyền muôn thuở trên tất cả vùng đất phía Tây châu Âu. Nhờ vậy, sắc lệnh trong tập sưu tập này đã trở thành một bằng chứng thuyết phục nhất trong lịch sử phương Tây. Nó là vật đã giúp khẳng định quyền lực của Giáo hoàng trong nhiều thế kỷ.

Giáo hoàng Nicholas I (858-867) đã khẳng định rằng Giáo hoàng có quyền tối cao trên tất cả các Kitô hữu, ngay cả hoàng gia, trong những vấn đề thuộc về đức tin và luân lý. Chỉ duy nhất có Photius, Giám mục của Constantinople đã kiên quyết chống lại ông. Ông này đã bảo vệ mạnh mẽ đạo đức và sự công bằng trong thời kỳ suy đồi. Sau khi ông ta chết đi, quyền lực của Giáo hoàng được mở rộng hơn bao giờ hết.

Thời kỳ sa sút của các Giáo hoàng kéo dài từ năm 867-1049. Các Giáo hoàng trở thành những công cụ của các phe phái chính trị. Nhiều Giáo hoàng bị giam cầm với những cách thức khác nhau, được đưa lên, bị giết và bị truất phế bởi các thế lực. Gia đình của một vài Giáo hoàng có chức vị đã tạo nên và lật đổ các Giáo hoàng trong suốt 50 năm. Một số gia đình có thế lực nhất, Giáo hoàng John XII đã tổ chức những buổi tiệc trác táng ngay trong điện Lateran.

Hoàng đế Otto I của Đức đã đưa John xét xử trong một phiên tòa các giáo sĩ, ông ta bị truất phế và một người trần tục được đưa lên làm Giáo hoàng, tức Leo VIII. John đã chống lại người đại diện của hoàng đế ở Roma và tự phục chức cho ông ta là Giáo hoàng. Cuộc xung đột giữa hoàng đế và Giáo hoàng vẫn tiếp tục, và nó chỉ kết thúc khi một thỏa ước giữa hoàng đế về việc bán chức Giám mục với Giáo hoàng được thiết lập.

Vào năm 1049, Leo IX đã trở thành Giáo hoàng. Cuối cùng thì một Giáo hoàng với những đức tính cần thiết để giải quyết những vấn đề thuộc quyền lực Giáo hoàng. Ông đã tới thăm các thành phố lớn của châu Âu để trực tiếp giải quyết những vấn đề đạo đức của nhà thờ. Đặc biệt là việc buôn bán chức vụ và vị trí trong nhà thờ (bán chức vụ thánh) và tình trạng hôn nhân của hàng giáo sĩ. Với hành trình dài của mình, ông đã khôi phục lại uy tín của Giáo hoàng đối với phương Bắc.